联合学习（FL）是一种新颖的学习范式，可解决集中学习的隐私泄漏挑战。但是，在FL中，具有非独立和相同分布（非IID）特征的用户可能会恶化全局模型的性能。具体而言，由于非IID数据，全局模型受到权重差异的挑战。为了应对上述挑战，我们提出了机器学习（ML）模型（FIDDIF）的新型扩散策略，以通过非IID数据最大化FL性能。在FedDif中，用户通过D2D通信将本地模型传播给相邻用户。 FedDif使本地模型能够在参数聚合之前体验不同的分布。此外，从理论上讲，我们证明了FedDif可以规避体重差异挑战。在理论的基础上，我们提出了ML模型的沟通效率扩散策略，该策略可以决定基于拍卖理论的学习绩效和沟通成本之间的权衡。绩效评估结果表明，与非IID设置相比，FedDIF将全球模型的测试准确性提高了11％。此外，与最新方法相比
translated by 谷歌翻译
The ability of knowledge graphs to represent complex relationships at scale has led to their adoption for various needs including knowledge representation, question-answering, fraud detection, and recommendation systems. Knowledge graphs are often incomplete in the information they represent, necessitating the need for knowledge graph completion tasks, such as link and relation prediction. Pre-trained and fine-tuned language models have shown promise in these tasks although these models ignore the intrinsic information encoded in the knowledge graph, namely the entity and relation types. In this work, we propose the Knowledge Graph Language Model (KGLM) architecture, where we introduce a new entity/relation embedding layer that learns to differentiate distinctive entity and relation types, therefore allowing the model to learn the structure of the knowledge graph. In this work, we show that further pre-training the language models with this additional embedding layer using the triples extracted from the knowledge graph, followed by the standard fine-tuning phase sets a new state-of-the-art performance for the link prediction task on the benchmark datasets.
translated by 谷歌翻译
作为行业4.0时代的一项新兴技术，数字双胞胎因其承诺进一步优化流程设计，质量控制，健康监测，决策和政策制定等，通过全面对物理世界进行建模，以进一步优化流程设计，质量控制，健康监测，决策和政策，因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中，我们研究了不同建模技术，孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第二篇论文介绍了数字双胞胎的关键启示技术的文献综述，重点是不确定性量化，优化方法，开源数据集和工具，主要发现，挑战和未来方向。讨论的重点是当前的不确定性量化和优化方法，以及如何在数字双胞胎的不同维度中应用它们。此外，本文介绍了一个案例研究，其中构建和测试了电池数字双胞胎，以说明在这两部分评论中回顾的一些建模和孪生方法。 GITHUB上可以找到用于生成案例研究中所有结果和数字的代码和预处理数据。
translated by 谷歌翻译
作为行业4.0时代的一项新兴技术，数字双胞胎因其承诺进一步优化流程设计，质量控制，健康监测，决策和政策制定等，通过全面对物理世界进行建模，以进一步优化流程设计，质量控制，健康监测，决策和政策，因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中，我们研究了不同建模技术，孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第一篇论文介绍了目前从事这一研究领域的许多学科的数字双胞胎趋势的详尽文献综述。然后，通过将数据分类为两个主要类别：基于数据流的方向，将数字双胞胎建模和双胞胎启用技术分为两个主要类别：物理到虚拟和虚拟物理。最后，本文在未来十年中提供了有关数字双技术轨迹的观点，并介绍了一些新兴研究领域，这些领域可能在未来的数字双胞胎研究中很可能有很大的用途。在本综述的第二部分中，讨论了不确定性量化和优化的作用，展示了电池数字双胞胎，并共享了数字双胞胎未来的更多观点。
translated by 谷歌翻译
大脑磁共振成像（MRI）扫描的自动分割和体积对于诊断帕金森氏病（PD）和帕金森氏症综合症（P-Plus）至关重要。为了提高诊断性能，我们在大脑分割中采用了深度学习（DL）模型，并将其性能与金标准的非DL方法进行了比较。我们收集了健康对照组（n = 105）和PD患者（n = 105），多个全身性萎缩（n = 132）和渐进性超核麻痹（n = 69）的大脑MRI扫描。 2020.使用金标准的非DL模型FreeSurfer（FS），我们对六个脑结构进行了分割：中脑，PON，CAUDATE，CAUDATE，PUTATATE，pALLIDUM和THIRD CNTRICLE，并将其视为DL模型的注释数据，代表性V -net和unet。计算了分化正常，PD和P-Plus病例的曲线下的骰子分数和面积。每位患者六个大脑结构的V-NET和UNETR的分割时间分别为3.48 +-0.17和48.14 +-0.97 s，比FS（15,735 +-1.07 s）快至少300倍。两种DL模型的骰子得分都足够高（> 0.85），它们的疾病分类AUC优于FS。为了分类正常与P-Plus和PD与多个全身性萎缩（小脑型）的分类，DL模型和FS显示出高于0.8的AUC。 DL显着减少了分析时间，而不会损害大脑分割和差异诊断的性能。我们的发现可能有助于在临床环境中采用DL脑MRI分割并提高大脑研究。
translated by 谷歌翻译
由于在具有不同资源预算的各种平台上的模型部署方便，因此具有自适应位的深度神经网络量化已引起了人们的关注。在本文中，我们提出了一种元学习方法来实现这一目标。具体而言，我们提出了MEBQAT，这是一种简单而有效的自适应量化意识训练（QAT）的方法，在该方法中，通过重新定义元学习任务以合并位宽，将元学习与QAT有效合并。部署在平台上后，MEBQAT允许将（Meta-）训练的模型量化为任何候选位宽，然后有助于进行推理，而无需过多准确地量化。此外，通过一些学习方案，MEBQAT还可以通过添加常规优化或基于公制的元学习来使模型以及任何看不见的目标类调整模型。我们设计了MEBQAT的变体，以支持（1）（1）位置自适应量化方案和（2）新的几次学习方案，在该方案中，量化位低和目标类都是共同调整的。我们通过实验证明了它们在多个QAT方案中的有效性。通过将它们的性能与（Bitwidth-dedicatied）QAT，现有的Bitwidth自适应QAT和Vanilla Meta-Learning进行比较，我们发现将Bitwidths合并到元学习任务中可以达到更高的鲁棒性。
translated by 谷歌翻译
在许多深层神经网络（DNN）应用中，在行业领域收集高质量数据的困难阻碍了DNN的实际使用。因此，转移学习的概念已经出现，该概念利用了在大规模数据集中训练的DNN的验证知识。因此，本文提出了受神经体系结构搜索（NAS）的启发的两阶段建筑微调。主要思想之一是突变，它使用给定的架构信息降低了搜索成本。此外，还考虑了早期停滞，这通过事先终止搜索过程来降低NAS成本。实验结果验证我们提出的方法可降低32.4％的计算和22.3％的搜索成本。
translated by 谷歌翻译
深度生成模型吸引了具有所需特性的分子设计的极大关注。大多数现有模型通过顺序添加原子来产生分子。这通常会使产生的分子与目标性能和低合成可接近性较少。诸如官能团的分子片段与分子性质和合成可接近的比原子更密切相关。在此，我们提出了一种基于片段的分子发生模型，其通过顺序向任何给定的起始分子依次向任何给定的起始分子添加分子片段来设计具有靶性质的新分子。我们模型的一个关键特征是属性控制和片段类型方面的高概括能力。通过以自动回归方式学习各个片段对目标属性的贡献来实现前者。对于后者，我们使用深神经网络，其从两个分子的嵌入载体中预测两个分子的键合概率作为输入。在用金砖石分解方法制备片段文库的同时隐式考虑所生成的分子的高合成可用性。我们表明该模型可以以高成功率同时控制多个目标性质的分子。即使在培训数据很少的财产范围内，它也与看不见的片段同样很好地工作，验证高概括能力。作为一种实际应用，我们证明，在对接得分方面，该模型可以产生具有高结合亲和力的潜在抑制剂，其抗对接得分的3CL-COV-2。
translated by 谷歌翻译
最近，基于深度神经网络（DNN）的药物 - 目标相互作用（DTI）模型以高精度突出显示，具有实惠的计算成本。然而，模型在硅药物发现的实践中仍然是一个具有挑战性的问题。我们提出了两项关键策略，以提高DTI模型的概括。首先是通过用神经网络参数化的物理通知方程来预测原子原子对相互作用，并提供蛋白质 - 配体复合物作为其总和的总结合亲和力。通过增强更广泛的绑定姿势和配体来培训数据，我们进一步改善了模型泛化。我们验证了我们的模型，PIGNET，在评分职能（CASF）2016的比较评估中，展示了比以前的方法更优于对接和筛选力。我们的物理信息策略还通过可视化配体副结构的贡献来解释预测的亲和力，为进一步配体优化提供了见解。
translated by 谷歌翻译